替代模型用于减轻工程任务中的计算负担，这些计算负担需要重复评估计算要求的物理系统模型，例如不确定性的有效传播。对于显示出非常非线性依赖其输入参数的模型，标准的替代技术（例如多项式混沌膨胀）不足以获得原始模型响应的准确表示。通过应用有理近似，对于通过有理函数准确描述的模型可以有效地降低近似误差。具体而言，我们的目标是近似复杂值模型。获得替代系数的一种常见方法是最小化模型和替代物之间的基于样本的误差，从最小二乘意义上讲。为了获得原始模型的准确表示并避免过度拟合，样品集的量是扩展中多项式项数的两到三倍。对于需要高多项式程度或在其输入参数方面具有高维度的模型，该数字通常超过负担得起的计算成本。为了克服这个问题，我们将稀疏的贝叶斯学习方法应用于理性近似。通过特定的先前分布结构，在替代模型的系数中诱导稀疏性。分母的多项式系数以及问题的超参数是通过类型-II-Maximim-Maximim类似方法来确定的。我们应用了准牛顿梯度散发算法，以找到最佳的分母系数，并通过应用$ \ mathbb {cr} $ -Colculus来得出所需的梯度。
translated by 谷歌翻译
Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.
translated by 谷歌翻译
我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。
translated by 谷歌翻译
负责将数据从存储转移到GPU的同时，在培训机器学习模型的同时，数据加载器可能会大大提高培训工作的绩效。最近的进步不仅通过大大减少训练时间，而且还提供了新功能，例如从远程存储（如S3）加载数据，这表明了希望。在本文中，我们是第一个将数据加载器区分为深度学习（DL）工作流程中的单独组件并概述其结构和功能的组件。最后，我们提供了可用的不同数据库，其功能，可用性和性能方面的权衡以及从中获得的见解的全面比较。
translated by 谷歌翻译
大规模的语言技术越来越多地用于与人类在不同情况下的各种形式的交流中。这些技术的一种特殊用例是对话剂，它会根据提示和查询输出自然语言文本。这种参与方式提出了许多社会和道德问题。例如，将对话剂与人类规范或价值观相结合意味着什么？它们应该与哪些规范或价值观保持一致？如何实现这一目标？在本文中，我们提出了许多步骤来帮助回答这些问题。我们首先要对对话代理人和人类对话者之间语言交流的基础进行哲学分析。然后，我们使用此分析来识别和制定理想的对话规范，这些规范可以控制人类与对话代理之间的成功语言交流。此外，我们探讨了如何使用这些规范来使对话剂与在一系列不同的话语领域中的人类价值相结合。最后，我们讨论了我们对与这些规范和价值观一致的对话代理设计的建议的实际含义。
translated by 谷歌翻译
临床表型可以从患者记录中自动提取临床状况，这可能对全球医生和诊所有益。但是，当前的最新模型主要适用于用英语编写的临床笔记。因此，我们研究了跨语化知识转移策略，以针对不使用英语并且有少量可用数据的诊所执行此任务。我们评估了希腊和西班牙诊所的这些策略，利用来自心脏病学，肿瘤学和ICU等不同临床领域的临床笔记。我们的结果揭示了两种策略，这些策略优于最先进的方法：基于翻译的方法，结合了域的编码器和跨语性编码器以及适配器。我们发现，这些策略在对稀有表型进行分类方面表现特别好，我们建议在哪种情况下更喜欢哪种方法。我们的结果表明，使用多语言数据总体可以改善临床表型模型，并可以补偿数据稀疏性。
translated by 谷歌翻译
大型语言模型会产生类似人类的文本，这些文本推动了越来越多的应用。但是，最近的文献以及越来越多的现实世界观察表明，这些模型可以产生有毒，有偏见，不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作，但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译，我们概述了六种表征有害文本的方式，这些方法在设计新基准时值得明确考虑。然后，我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后，我们将它们应用于视角API的案例研究，这是一种毒性分类器，被广泛用于HARS基准。我们的特征提供了一块桥梁，可以在远见和有效评估之间转化。
translated by 谷歌翻译
本文旨在帮助构建与大规模语言模型（LMS）相关的风险景观。为了促进负责任的创新的进步，需要深入了解这些模型提出的潜在风险。详细分析了广泛的建立和预期的风险，借鉴了计算机科学，语言学和社会科学的多学科专业知识和文学。我们概述了六个具体风险领域：I.歧视，排除和毒性，II。信息危害，III。误导危害，V.恶意用途，V.人机互动危害，vi。自动化，访问和环境危害。第一个领域涉及陈规定型，不公平歧视，排他性规范，有毒语言和LMS社会群体的绩效。第二个重点侧重于私有数据泄漏或LMS正确推断敏感信息的风险。第三次解决贫困，虚假或误导性信息的风险，包括在敏感域中，以及敲门式风险，如共享信息的信任侵蚀。第四次考虑了试图使用LMS造成伤害的行动者的风险。第五部分侧重于用于支持与人类用户互动的会话代理的LLMS特异性的风险，包括不安全使用，操纵或欺骗。第六六探讨了对不同社会群体或社区可能产生不同影响的环境危害，工作自动化和其他挑战的风险。总的来说，我们审查了21个风险。我们讨论了不同风险的起源点和指向潜在的缓解方法。最后，我们讨论在实施减轻的组织职责，以及协作和参与的作用。我们强调了进一步研究的方向，特别是在扩展工具包时，用于评估和评估LMS中的概述风险。
translated by 谷歌翻译
非预先预先推动动作有可能从其周围杂波中分割目标物体，以便于靶的机器人抓握。为了解决这个问题，我们利用了一个启发式规则，使目标对象将目标对象移动到工作空间的空白区域，并证明这种简单的启发式规则能够达到分割。此外，我们将这种启发式规则纳入奖励，以便培训更有效的加强学习（RL）代理进行分割。仿真实验表明，这种洞察力会提高性能。最后，我们的结果表明，基于RL的政策隐含地了解与决策方面的类似启发式类似的东西。
translated by 谷歌翻译
基于多维时间序列预测的歧管学习，我们解决了三层数值框架。在第一步，我们使用诸如局部线性嵌入和扩散图的非线性歧管学习算法将时间序列嵌入到降低的低维空间中。在第二步，我们在歧管中构建倒计阶回归模型，特别是多变量自回归（MVAR）和高斯过程回归（GPR）模型，以预测嵌入式动态。在最后一步，我们使用径向基函数插值和几何谐波将嵌入的时间序列抬回原始的高维空间。对于我们的插图，我们使用四组时间序列测试所提出的数值方案的预测性能：三种合成随机等于具有不同模型订单的线性和非线性随机模型的EEG信号，以及包含每日时间的一个真实数据集跨越时间段03 / 09/2001-29 / 10/2020的10个关键外汇汇率（外汇）系列。使用歧管学习，建模和提升方法的组合评估所提出的数值方案的预测性能。我们还提供与主成分分析算法以及天真随机步道模型的比较，以及培训的MVAR和GPR模型直接在高维空间中实现。
translated by 谷歌翻译